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(57) Abstract- The invention relates to a system and a method, which facilitates the establishment of a documentation of working 
processes said documentation using methods of augmented reality, particularly in the domain of production, installation, semce or 
maintenance. The system contains at least one camera (14, 16) for recording image information dunng one or more working pro- 
cesses tracking means for determining the position and orientation of the camera (14, 16) with regard to points in space, and contains 
a mobile computer (4) for processing the image information recorded by the camera (14, 16) as well as the position and onentation 
of the camera (14, 16), and for relaying the processed image informaUon as image date as well as the position and onentouon ot the 
camera (14 16) as tracking information to a remote computer system (5). This remote computer system (5) compnses: processing 
means for generating information, which supplements the image data, in the form of graphic elements, texts and/or for referring 
to additional infoimation and for assigning the supplemented informaUon to points in space; first playback means for playing tack 
the image data and the supplemented information, and; storage means for storing the information that supplements the image data 
and for assigning this information to points in space and to the tracking information serving as documentetion (10) of the working 
processes. 
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(57) Zusammenfassung: Die Erfindung betrifft ein System und ein Verfahren, welches die Erstellung einerdie Methoden der Aug- 
mented Reality nutzenden Dokumentation von Arbeitsvorgangen erleichtert, insbesondere im Umfeld Produktion, Montage, Service 
Oder Wartung. Das System enthaJt mindestens eine Kamera (14, 16) zur Aufnahme von Bildinformationen iiber einen oder mehrere 
Arbeitsvoigange, Trackingmittel zur Bestimmung von Position und Ausrichtung der Kamera (14, 16) relativ zu Punkten im Raum 
und einen mobilen Rechner (4) zur Verarbeitung der von der Kamera (14, 16) aufgenommenen Bildinformationen und der Position 
und Ausrichtung der Kamera (14, 16) und zur Weitergabe der verarbeiteten Bildinformationen als Bilddaten und der Position und 
Ausrichtung der Kamera (14, 16) als Trackinginformation an ein entfemtes Rechnersystem (5), wobei das entfemte Rechnersystem 
(5) aufweist: Bearbeitungsmittel zur Erstellung von die Bilddaten erganzenden Infoimationen in Form von grafischen Elementen, 
Texten und/oder Verweisen auf weitere Informationen und zur Zuordnung der erganzenden Informationen zu Punkten im Raum, 
erste Wiedergabemittel zur Wiedergabe der Bilddaten und der erganzenden Informationen und Speichermittel zur Speichening der 
die Bilddaten erganzenden Informationen, ihrer Zuordnung zu Punkten im Raum und der Trackinginformation als Dokumentation 
(10) der Arbeitsvoigange. 
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SYSTEM UND VERFAHREN ZUR ERSTELLUNG EINER DOKUMENTATION VON 
A^EITSVORGANGEN ZUR DARSTELLUNG IN EINEM AUGMENTED-REALITY-SYSTEM 

Die Erfindung betrifft.ein System und Verfahren zur Erstel- 
lung einer Dokumentation von ArbeitsvorgSngen, insbesondere 
im Umfeld Produktion, Montage, Service Oder Wartung. 

Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
Werkzeugmaschinen, in der Prozessautomatisierung, bei Diagno- 
se-/Serviceuntersttitzungssystemen sowie fiir komplexe Kompo- 
nenten, Gerate und Systeme, wie beispielsweise Fahrzeuge und 
industrielle Maschinen und Anlagen zum Einsatz. Eine beson- 
ders vorteilhafte Anwendung besteht im Zusammenhang mit Aug- 
mented Reality (= AR = "erweiterte Realitat"), einer neuen 
Form der Mensch-Technik-Interaktion, bei der das Sichtfeld 
eines Anwenders mit rechnergenerierten virtuellen Ob j ekten 
angereichert wird - beispielweise tiber eine Datenbrille. Die 
Einblendung geschieht jedoch kontextabhangig, d. h. passend 
und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil. 
so wird das reale Sichtfeld beispielweise eines Monteurs 
durch eingeblendete Montagehinweise um fur ihn wichtige In- 
formationen erweitert. In diesem Falle kann Augmented Reality 
unter anderem das herkommliche Montagehandbuch ersetzen. 

Der hier vorgestellte Losungsansatz bezieht sich auf den Ein- 
30 satz von Augmented Reality in der Montage sowie im Bereich 
Service und Wartung. 

Der Erfindung liegt die Aufgabe zugrunde, die Erstellung ei- 
ner die Methoden der Augmented Reality nutzenden Dokumentati 
35 on von ArbeitsvorgSngen zu erleichtern. 
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Diese Aufgabe wird gelost durch ein System zur Erstellung ei- 
ner Dokumentation von Arbeitsvorgangen 

• itiit mindestens einer Kamera zur Aufnahme von Bildinf orma-- 
tionen uber einen oder mehrere Arbeitsvorgange, 

5 • mit Trackingmitteln zur Bestimmung von Position und Aus- 
richtung der Kamera relativ zu Punkten im Raum und 

• mit einem mobilen Rechner zur Verarbeitung der von der Ka- 
mera aufgenommenen Bildinformationen und der Position und 
Ausrichtung der Kamera und zur Weitergabe der verarbeite- 

10 ten Bildinformationen als Bilddaten und der Position und 

Ausrichtung der Kamera als Trackinginf ormation an ein ent- 
f erntes Rechner system, 
wobei das entfernte Rechnersystem aufweist: 

• Bearbeitungsmittel zur Erstellung von die Bilddaten ergan- 
15 zenden Inf ormationen in Form von grafischen Elementen, 

Texten und/oder Verweisen auf weitere Inf ormationen und 
zur Zuordnung der erganzenden Inf ormationen zu Punkten im 
Raum, 

• erste Wiedergabemittel zur Wiedergabe der Bilddaten und 
20 der erganzenden Inf ormationen und 

• Speichermittel zur Speicherung der die Bilddaten erganzen- 
den Informationen, ihrer Zuordnung zu Punkten im Raum und 
der Trackinginformation als Dokiomentation der Arbeitsvor- 
gange, 

25 

Diese Aufgabe wird gelost durch ein Verfahren zur Erstellung 
einer Dokumentation von Arbeitsvorgangen, bei welchem 

• Bildinformationen liber einen oder mehrere Arbeitsvorgange 
mit mindestens einer Kamera aufgenommen werden, 

30 • Position und Ausrichtung der Kamera relativ zu Punkten im 
Raum mit Trackingmitteln bestimmt wird und 

• mit einem mobilen Rechner die von der Kamera aufgenommenen 
Bildinformationen und die Position und Ausrichtung der Ka- 
mera verarbeitet und die verarbeiteten Bildinformationen 

35 als Bilddaten, die Position und Ausrichtung der Kamera als 

Trackinginformation an ein entferntes Rechnersystem wei- 
tergegeben werden. 
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.wobei mit dem entfernten Rechnersystem 

• mit Bearbeitungsmitteln die Bilddaten erganzende Informa- 
tionen in Form von grafischen Elementen, Texten und/oder 
Verweisen auf weitere Informationen erstellt und die er- 
ganzenden Informationen zu Punkten im Raum zugeordnet wer- 
den, 

• die Bilddaten und die erganzenden Informationen mit ersten 
Wiedergabemitteln wiedergegeben werden und 

die die Bilddaten ergSnzenden Informationen, ihre Zuordnung 
zu Punkten im Raum und die Trackinginformation als Dokumenta- 
tion der ArbeitsvorgSnge mit Speichermitteln gespeichert wer- 
den. 

Die Erfindung beruht auf der Erkenntnis, dass sich mit Mit- 
teln der Augmented Reality die Erstellung einer Dokumentation 
von Arbeitsvorgangen wesentlich vereinfachen lasst. Professi- 
onelle Erstellungssysteme fiir Augmented-Reality-Systeme gibt 
es bisher nicht. Das erf indungsgemaJie System und Verfahren 
vereinfacht das Engineering von Augmented-Reality-Inhalten 
fur Montage- und Serviceanleitungen. Dazu werden die vor Ort 
gewonnenen Informationen Uber einen oder mehrere Arbeitsvor- 
gange im mobilen Rechner verarbeitet und an das entfernte 
Rechnersystem weitergegeben. Durch die Wiedergabe der Bildda- 
ten und der erganzenden Informationen von den Arbeitsvorgan- 
gen vor ort mit ersten Wiedergabemitteln des entfernten Rech- 
nersystems erhalt ein technischer Redakteur authentische In- 
formationen Uber die Arbeitsvorgange, auch wenn er selbst 
nicht vor Ort anwesend ist. Das erf indungsgemaBe System und 
Verfahren unterstutzt den technischen Redakteur des Weiteren 
bei der Augmentierung der ihm zur Verfiigung gestellten Bild- 
daten. Dazu sind Bearbeitungsmittel zur Erstellung von die 
Bilddaten erganzenden Informationen vorgesehen. Um eine vari- 
able und kontextbezogene Augmentierung zu ermSglichen, stel- 
len die Bearbeitungsmittel erganzende Informationen in Form 
von graphischen Elementen, Texten und/oder Verweisen auf wei- 
tere informationen zur Verfiigung und bieten zusStzlich die 
Moglichkeit, diese erganzenden Informationen den Punkten im 
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Raum zuzuordnen. Die die Bilddaten erganzenden Inf ormationen, 
ihre Zuordnung zu Punkten im Raum und die Trackinginf ormation 
wird als Dokumentation der Arbeitsvorgange itiit Mitteln der 
Augmented Reality in Speichermitteln zur spSteren Verwendung 
5 gespeichert. Die zur Erstellung der Dokumentation verwendeten 
Bilddaten werden nach Abschluss des Erstellungsvorgangs nicht 
mehr benotigt und werden folglich nicht gespeichert- Dies be- 
deutet eine deutliche Reduzierung des zur Speicherung der Do- 
kumentation erforderlichen Speicherplatzes im Vergleich zu 
10 bisherigen Dokumentationssystemen . Die Erfindung veirmeidet 
die bisher z. B. bei Laborsystemen tibliche umstandliche Er- 
stellung von Augmented-Reality-Szenen, welche nur mittels 
handischer Bearbeitung von Hilfsdateien moglich war, Im Ge- 
gensatz dazu bietet die Erfindung ein geschlossenes System 
15 und Verfahren von der Aufnahme der Bildinformationen uber die 
Weiterverarbeitung und Weitergabe der Bildinformationen an 
ein entferntes Rechnersystem bis zur Bearbeitung und Erstel- 
lung einer Augmented-Reality-Dokumentation, 

20 In einer vorteilhaf ten Ausgestaltung der Erfindung werden die 
in den Speichermitteln gespeicherten erganzenden Informatio- 
nen mittels zweiter Wiedergabemittel in das Sichtfeld eines 
Anwenders eingeblendet . Der Anwender erhalt kontextbezogene, 
z, B. einem bestimmten Bauteil zugeordnete Inf ormationen, in 

25 dem diese erganzenden Inf ormationen entsprechend ihrer Zuord- 
nung zu Punkten im Raum im Sichtfeld des Anwenders angeordnet 
werden. So konnen z. B. gemischt-virtuelle Montagesituation 
direkt im Sichtfeld des Anwenders wiedergegeben werden, und 
damit in einer flexiblen Produktion, z. B. das Einrichten von 

30 Maschinen fiir qualif izierte Facharbeiter, wesentlich erleich- 
tert werden. Eine f acharbei ter-gerechte Fertigungsplanung und 
Fertigungssteuerung in der Werkstatt wird erleichtert, wenn 
Inf ormationen Uber den jeweiligen Auf tragsstatus direkt in 
Verbindung mit den dazugeh5rigen Produkten vor Ort wiederge- 

35 geben bzw. wahrgenommen werden. Das gleiche gilt auch fiir die 
Montage, wo einem Anwender, z. B. einem Monteur, bereits in 
der Trainingsphase einzelne Arbeitsschritte gemischt-virtuell 
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prasentiert werden konnen. In diesem Zusaininenhang kdnnen - 
z. B. durch den Vergleich realer Montageabiauf e mit Simulati- 
onsergebnissen - umfassende Optimierungen erreicht werden, 
die sowohl die Qualitat der Arbeitsplanung verbessern als 
auch den Montageprozess in der kritischen Anlaufphase verein- 
fachen und beschleunigen. 

In einer weiteren vorteilhaf ten Ausgestaltung der Erfindung 
weist das entfernte Rechnersystem eine Symbolbibliothek zur 
Bereitstellung der graphischen Elemente und eine Dokumenten- 
bibliothek zur Bereitstellung der Texte auf. Damit wird die 
einfache, schnelle und standardisierte Erstellung einer Doku- 
mentation der Arbeitsvorgange unterstiltzt. Die Symbolbiblio- 
thek enthalt beispielsweise graphische Elemente wie Pfeile, 
.Kreise etc., mit denen Schrauben, Halterungen oder notwendige 
Handgriffe markiert werden konnen. Die Dokumentenbibliothek 
setzt sich beispielsweise aus elementaren Grundelementen zu- 
sammen, welche Textelemente umfassen, die Montage- /Demontage- 
schritte beschreiben. 

Ein technischer Redakteur, welcher die Bearbeitungsmittel des 
entfernten Rechnersystems nutzt, kann weitere Informationen 
von den ArbeitsvorgSngen vor Ort erhalten, wenn entsprechend 
einer weiteren Ausgestaltung der Erfindung Auf nahmemittel zur 
Aufnahme von akustischen Informationen uber die Arbeitsvor- 
gange vorgesehen sind. Dabei wird der mobile Rechner zur Ver- 
arbeitung der auf genommenen akustischen Informationen und zur 
Weitergabe der akustischen Informationen als Audiodaten an 
das entfernte Rechnersystem vorgesehen und werden die ersten 
Wiedergabemittel des entfernten Rechnersystems zur Wiedergabe 
der Audiodaten vorgesehen. Ein Arbeitsvorgang kann so z. B. 
durch den Monteur mit sprachlichen Informationen beschrieben 
werden, welche dem technischen Redakteur am entfernten Rech- 
nersystem zur VerfUgung gestellt werden. 

In einer weiteren vorteilhaften Ausgestaltung der Erfindung 
sind die Bearbeitungsmittel zur Zuordnung der ergSnzenden In- 
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formationen zu Arbeitsschritten innerhalb eines Workflows und 
Steuerungsmittel zur Steuerung der zweiten Wiedergabemittel 
durch den Ariwender vorgesehen. Durch diese Einbettung der 
augmentierten und dokumentierten Arbeitsvorgange in einen 
5 Workflow werden diese far Serviceeinsatze abrufbar. Den 

Workflow erstellt der technische Redakteur mit Hilfe der Be- 
arbeitungsmittel . Spezielle verbale Kommentare des Monteurs 
vor Ort konnen in diesen Workflow als Erf ahrungsannotation 
eingebettet werden, Ein Monteur kann die solchermaJien er- 

10 stellte Dokiiitientation eines Arbeitsvorgangs nutzen, indem er 
jeweils die Telle der Augmented-Reality-Dokumentation abruft, 
welche ihn interessierende Arbeitsschritte beschreiben. Zudem 
wird durch eine Zuordnung der erganzenden Inf ormationen zu 
Arbeitsschritten innerhalb eines Workflows der zu speichernde 

15 Umfang der Dokiaitientation entscheidend reduziert. Nur die 

wirklich wichtigen Arbeitsschritte eines Arbeitsvorgangs wer- 
den dokumentiert und innerhalb des Workflows strukturiert ab- 
gelegt . 

20 Nachfolgend wird die Erfindung anhand des in der Figur darge- 
stellten Ausf lihrungsbeispiels naher beschrieben und erlau- 
tert. 

Die Figur zeigt ein AusfUhrungsbeispiel eines Systems zur Er- 
25 stellung einer Dokuinentation von Arbeitsvorgangen. Die Figur 
zeigt eine Anlage oder Maschine 1, an welcher ein Anwender, 
im AusfUhrungsbeispiel ein Monteur 11, ein oder mehrere Ar- 
beitsvorgange verrichtet. Der Monteur 11 tragt ein Headset 3, 
welches in der Figur separat vergrofiert dargestellt ist. Das 
30 Headset 3 des Monteurs 11 weist eine Datenbrille 23, ein Mik- 
rofon 15 und eine erste Kamera 14 auf. Die Komponenten 14, 
15, 23 des Headset 3 sind drahtlos oder drahtgebunden mit ei- 
nem mobilen Rechner 4 verbunden, welchen der Monteur 11 mit 
sich fuhrt. Der mobile Rechner 4 weist eine Verbindung 17 zu 
35 einem entfernten Rechnersystem 5 auf . Dieses Rechnersystem 5 
ist Uber weitere Verbindungen 18, 19, 20 und 21 mit einer Do- 
kumentenbibliothek 7, einer Symbolbibliothek 6, dem World 
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Wide Web 8 und/oder einem CAD-Produktmodell 9 verbunden. Das 
Rechnersystem 5 wird bedient durch einen technischen Redak- 
teur 12 und steht in Verbindung zur Dokumentation 10, welche 
auf einem Server 13 abgelegt ist. Dieser Server 13 hat eine 
weitere Verbindung 22 zum mobilen Rechner 4 des Monteurs 11. 
Die Figur zeigt aulierdem ein Webpad 2, welches mit einer 
zweiten Kamera 16 verbunden ist. 

im in der Figur dargestellten AusfUhrungsbeispiel demontiert 
ein Anwender - in diesem Fall ein Monteur 11 - eine durch ei- 
ne Starung markierte Komponente der Maschine 1. Der vom Mon- 
teur 11 durchgeflihrte Arbeitsvorgang, in diesem Fall also ein 
Demontagevorgang, wird mit einer ersten Kamera 14 an einem 
Headset 3 des Monteurs 11 aufgenommen. Das Headset 3 enthalt 
im Bereich von Brillenglasern einer Datenbrille angeordnete 
Anzeigevorrichtungen, die an der Datenbrille angeordnete Ka- 
mera 14 und ein zur Erfassung von Sprachkommandos an der Da- 
tenbrille angeordnetes Mikrofon 15. Die von der ersten Kamera 
14 aufgenommenen Bildinformationen werden im mobilen Rechner 
4 des Monteurs 11 weiterverarbeitet und als Bilddaten tlber 
die Verbindung 17 an das entfernte Rechnersystem 5 eines 
technischen Redakteurs 12 weitergegeben. Mit Trackingmitteln 
wird die Position und die Ausrichtung der Kamera 14 relativ 
zu Punkten im Raum, z. B. zu einer bestimmten Komponente der 
Maschine 1 oder zu an der Maschine 1 angebrachten Markern be- 
stimmt. Die so ermittelte Position und Ausrichtung der Kamera 
wird ebenfalls.vom mobilen Rechner 4 verarbeitet und iiber die 
Kommunikationsverbindung 17 als Trackinginf ormation an das 
Rechnersystem 5 weitergegeben. Die Bilddaten werden im Bex- 
spiel als Videos tream, z. B. im Format bzw. in der Technolo- 
gie MPEG4, synchron mit der Trackinginf ormation tiber dxe Kom 
munikationsverbindung 17 Ubertragen. Optional konnen tiber dxe 
Kommunikationsverbindung 17 auch mit Auf nahmemitteln, z. B. 
dem Mikrofon 15 am Headset 3 des Monteurs 11, aufgenommene 
gesprochene Kommentare zusammen mit dem Videostream tibertra- 
gen werden. Die gesprochenen Kommentare ermSglichen dem tech- 
nischen Redakteur 12 ein besseres VerstSndnis von komplexen 
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Handlungen innerhalb des Arbeitsvorgangs . Das Rechnersystem 5 
enthalt erste Wiedergabemittel zur Wiedergabe der Bilddaten. 
Im Ausfuhrungsbeispiel sind diese ersten Wiedergabemittel als 
Monitor ausgebildet, auf welchem dem technischen Redakteur 12 
5 die mit der ersten Kamera 14 auf genommenen Bildinf orinationen 
von der Maschine 1 dargestellt werden. Das Rechnersystem 5 
stellt dem technischen Redakteur 12 Bearbeitungsmittel zur 
Erstellung von die Bilddaten erganzenden Informationen zur 
Verfugung. Mit Hilfe dieser Bearbeitungsmittel ergSnzt der 
10 technische Redakteur die Bilddaten urn graphische Elemente, 

Texte und/oder Verweise auf weitere Informationen. Gleichzei- 
tig wird durch die Bearbeitungsmittel eine Zuordnung dieser 
erganzenden Informationen zu Punkten im Raum mSglich. Im Bei- 
spiel entnimmt der technische Redakteur 12 aus einer Symbol- 
15 -bibliothek 6 graphische Elemente wie Pfeile, Kreise etc, urn 
damit Schrauben, Halterungen etc. der Maschine 1 zu markie- 
ren. Aus einer aus elementaren Grundelementen aufgebauten Do- 
kiimentenbibliothek 7 entnimmt er Textelemente, die Montage- 
/Demontageschritte beschreiben und hangt diese an bereits an- 
20 gebrachte Markierungen. Information uber weitere in der Ma- 

schinendokumentation nicht enthaltene Bauteile ruft der tech- 
nische Redakteur 12 iiber das World Wide Web 8, z. B. auf Pro- 
duktportalen eines Bauteilelief eranten, ab und augmentiert 
mit diesen Informationen in gleicher Weise den Montage- 
25 /Demontagevorgang des Monteurs 11. Der Monteur 11 kann, wenn 
er das wiinscht, die erganzenden Informationen gleich synchron 
zur Erstellung durch den technischen Redakteur 12 mittels 
zweiter Wiedergabemittel, z. B. der Datenbrille 23 seines 
Headsets 3, anzeigen lassen. So kann er zeitnah dem techni- 
30 schen Redakteur 12 Ruckmeldung im Sinne einer Qualitatssiche- 
rung geben. Die durch den technischen Redakteur 12 mit Hilfe 
der Bearbeitungsmittel erstellten erganzenden Informationen 
werden als Dokumentation 10 der Arbeit svorgange des Monteurs 
11 auf Speichermitteln, im Ausfuhrungsbeispiel einem Server 
35 13, abgelegt, wo sie ftir spatere ahnliche Tatigkeiten als Un- 
terstutzung abgerufen werden konnen. Andere Servicetechniker 
Oder Monteure konnen somit von der Erfahrung und dem Know-how 
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des ersten Monteurs 11 und des technischen Redakteurs 12 pro- 
fitieren, da die Anleitungsschritte und die passende Dokumen- 
tation stets in ihrem Sichtfeld passend zu der realen Welt 
angezeigt werden.' Die auf dem Server 13 gespeicherten ergan- 
zenden Informationen sind dabei den realen Objekten der Ma- 
schine 1 zugeordnet. Sie werden entsprechend ihrer Zuordnung 
innerhalb des Sichtfelds des Monteurs 11 korrekt eingeblen- 
det. Die Position der erganzenden Informationen wird relativ 
zu Markern - bei markerbasiertem Tracking - oder zu Merkmalen 
wie Kanten, Kreisen, Segmenten, Schriftzugen etc. - bei mar- 
kerlosem Tracking - mit der Augment ierung gespeichert. Im 
Ausfiihrungsbeispiel wird die augmentierte Szene, d. h. der 
mit erganzenden Informationen versehene Arbeitsvorgang, in 
einen Workflow eingebettet und damit fiir weitere Serviceein- 
satze abrufbar. Den Workflow erstellt der technische Redak- 
teur 12, spezielle verbale Kommentare des Monteurs 11 kann 
der technische Redakteur 12 in den Workflow als Erf ahrungsan- 
notation einbetten. Die Kommunikat ions verb indung 17 zwischen 
dem mobilen Rechner 4 des Monteurs 11 und dem Rechnersystem 5 
des technischen Redakteurs 12, z. B. einem PC (=Personal Com- 
puter) , dient zur Obertragung der Bilddaten und der Positi- 
onsinformationen der Kamera bei nicht videobasiertem Tra- 
cking-Verfahren. Die Kommunikationsverbindung 17 kann z. B. 
als Funkverbindung ausgebildet sein oder auch als Mischung 
aus Funkverbindung und Gateway. Hier konnen beliebige Ober- 
tragungsmechanismen der Informationstechnologie zum Einsatz 
kommen. FUr die Art der Anwendung bietet sich aber eine 
drahtlose Verbindung mit oder ohne Gateway zum Rechnersystem 
5 des technischen Redakteurs 12 an. Die auszutauschende In- 
formation kann auch erst lokal auf dem mobilen Rechner 4 des 
Monteurs 11 bzw. auf dem ggf. vorhandenen Gateway gespeichert 
werden und erst zu einem spateren Zeitpunkt in das Redakti- 
onssystem, d. h. dem Rechnersystem 5 des technischen Redak- 
teurs 12, eingespielt werden. Kommt ein nicht videobasiertes 
Tracking-Verfahren zum Einsatz, so sind neben den Bilddaten 
in Form eines Videostreams auch aktuelle Informationen vom 
Tracking-system synchronisiert zu tibertragen (Position, Orx 
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entierung und Sichtfeld des Anwenders bzw. der Kamera) . Diese 
Information wird benotigt, um entweder die relativen Koordi- 
naten beziiglich des aktuell erkannten Markers/Objekts oder 
die entsprechenden Weltkoordinaten zu eritiitteln. Als Weltko- 
5 ordinaten werden dabei die Koordinaten im Raum beziiglich ei- 
nes zuvor festgelegten Punktes im Raiim verstanden. Das System 
ist auf Seiten des technischen Redakteurs 12 mit einer Auf- 
zeichnungs-ZAbspieleinheit (Videorecorderfunktionalitat ) als 
erste Wiedergabemittel fUr den Videostream und ggf . ftir die 
10 synchronisiert abgelegten Tracking-Inf ormationen ausgestat- 

tet. Die Auf zeichnungs-/Abspieleinheit ist vorzusehen, da der 
technische Redakteur 12 in den meisten Fallen die Annotation 
nicht in Echtzeit hinzufugen kann. In ahnlicher Weise kann 
der Montage- bzw. Demontagevorgang auch uber ein Webpad 2 mit 
15 eingebauter oder separater Kamera 16 aufgenommen werden und 
entweder am Webpad 2 oder liber das Rechnersystem 5 des tech- 
nischen Redakteurs 12 augmentiert werden. 

In einem weiteren Ausfuhrungsbeispiel, welches ebenfalls in 
20 der Figur angedeutet ist, kann die Erstellung einer Dokumen- 
tation von Arbeit svorgangen auch vom technischen Redakteur 12 
anhand des szenarischen Ablaufs einer 3D-Konstruktions- 
zeichnung eines CAD-Produktmodells 9 erfolgen, Dabei fUhrt 
der technische Redakteur 12 den Arbeitsvorgang, d. h. die 
25 Montage bzw. Demontage, mit Hilfe der 3D-Elemente aus der 3D- 
Konstruktionszeichnung durch und augmentiert diese 3D- 
Elemente um die notwendige Information wie Pfeile, Kreise, 
Text, Detailexplosionszeichnungen, benotigte Werkzeuge, Si- 
cherungsmaJJnahmen etc. Die relative Position der augmentier- 
30 ten Information wird dabei aus dem vermafiten 3D-Modell ent- 

nommen, mit der augmentierten Information gespeichert und zur 
Augmentierung im Service-/Wartungsf all abgerufen. Zum Zeit- 
punkt der Erstellung dieser Dokumentation des Arbeitsvorgangs 
muss bereits bekannt sein, ob die Positionsangaben relativ zu 
35 einer Markerposition beschrieben werden mtissen. Alternativ 
und besser ist eine Marker-neutrale Beschreibung, also die 
Verwendung von Weltkoordinaten und die Initialisierung des 
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Tracking-systems und der Marker entsprechend des Weltkoordi- 
natensystems. Zur weiteren Unterstutzung der Erstellung emer 
Dokumentation von ArbeitsvorgSngen konnen weitere Informatxo- 
nen vom Monteur 11 tiber die Kommunikationsverbindung 17 an 
den technischen Redakteur 12 weitergegeben werden. Solche 
weitere Informationen sind insbesondere kontextbezogene 
Sprachinformationen des Monteurs U. Der Kontextbezug ergxbt 
sich dabei aus der VerknUpfung mit Orts-, Komponenten- , 
workflow-lnformationen oder ggf. Marker-Informationen. Der 
Kontextbezug wird zur spSteren kontextbezogenen Identifizxe- 
rung mitUbertragen und abgespeichert . 

im Folgenden wird das VerhSltnis der Erfindung zum technolo- 
gischen Umfeld dargestellt. Im Service genugen herkommlxche 
Technologien kaum mehr, urn komplexe Diagnose- und Behebungs- 
prozeduren zu unterstiitzen und zu dokumentieren. Da diese 
Prozesse in vielen Bereichen aber ohnehin auf Basis von dxgi- 
talen Daten geplant werden, bieten Augmented-Reality- 
Technologien die Moglichkeit, die Inf ormationsquell^n fUr dxe 
Wartung zu Ubernehmen und einem Monteur 11, z. B. Uber eme 
Datenbrille 23, durch Oberlagerung mit realen Objekten exnen 
Ausbauvorgang zu eriautern. In Bezug auf kooperative Arbext 
ermoglicht die Aufnahme von Bildinformationen des Arbextsvor- 
gangs eine verteilte ProblemlSsung, indem ein entfernter Ex- 
perte mit dem Monteur 11 vor Ort iiber globale Distanzen hxn- 
weg kommuniziert. Dieser Fall ist insbesondere ftir die Uber- 
wiegend mittelstandischen werkzeugmaschinenhersteller rele- 
vant Diese sind durch die Globalisierung gezwungen, Produk- 
tionsstatten ihrer Kunden weltweit zu errichten. Jedoch xst 
eine PrSsenz von Niederlassungen in alien wichtigen MSrkten 
weder aus wirtschaf tlichen Grunden realisierbar, noch kann 
auf das profunde Wissen erfahrener Service-Mitarbeiter des 
Stammhauses bezuglich der zunehmend komplexer werdenden Anla- 
gen verzichtet werden. Die Besonderheit in der Mensch- 
Technik-lnteraktion bei Augmented Reality liegt in einer sehr 
einfachen und intuitiven Kommunikation mit dem Rechner, bex- 
spielsweise erganzt durch multimodale Interaktionstechnxken 
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wie Sprachverarbeitung oder Gestikerkennung. Die Verwendung 
von tragbaren Rechnereinheiten ermoglicht dartiber hinaus vol- 
lig neue mobile Nutzungsszenarien, wobei die spezifischen Da- 
ten jederzeit Ober ein drahtloses Netz angefordert werden 
konnen. Neue Visualisierungstechniken erlauben eine direkte 
Annotation, z. B. von Prozess-, Mess- -oder Siinulationsdaten, 
an das reale Objekt oder in die reale Umgebung. In Verbindung 
mit verteilten Anwendungen sind mehrere Benutzer in der Lage, 
in einer realen Umgebung mit Hilfe einer gemeinsamen Datenba- 
sis zu arbeiten (shared augmented environments) oder in ver- 
schiedenen Umgebungen Augmented-Reality-gestiitzt zu kooperie- 
ren. 

Zusammenfassend betrifft die Erfindung somit ein System und 
ein Verfahren, welches die Erstellung einer die Methoden der 
Augmented Reality nutzenden Dokumentation von Arbeitsvorgan- 
gen erleichtert/ insbesondere im Umfeld Produktion, Montage, 
Service oder Wartung. Das System enthalt mindestens eine Ka- 
mera 14, 16 zur Aufnahme von Bildinf ormationen tlber'einen o- 
der mehrere Arbeitsvorgange, Trackingmittel zur Bestimmung 
von Position und Ausrichtung der Kamera 14, 16 relativ zu 
Punkten im Raum und einen mobilen Rechner 4 zur Verarbeitung 
der von der Kamera 14, 16 auf genommenen Bildinf ormationen und 
der Position und Ausrichtung der Kamera 14, 16 und zur Wei- 
tergabe der verarbeiteten Bildinf ormationen als Bilddaten und 
der Position und Ausrichtung der Kamera 14, 16 als Tracking- 
information an ein entferntes Rechnersystem 5, wobei das ent- 
fernte Rechnersystem 5 aufweist: Bearbeitungsmittel zur Er- 
stellung von die Bilddaten erganzenden Inf ormationen in Form 
von grafischen Elementen, Texten und/oder Verweisen auf wei- 
tere Inf ormationen und zur Zuordnung der erganzenden Informa- 
tionen zu Punkten im Raiom, erste Wiedergabemittel zur Wieder- 
gabe der Bilddaten und der erganzenden Inf ormationen und 
Speichermittel zur Speicherung der die Bilddaten erganzenden 
Informationen, ihrer Zuordnung zu Punkten im Raum und der 
Trackinginformation als Dokumentation 10 der Arbeitsvorgange, 
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Patentanspriiche 

1. System zur Erstellung einer Dokumentation von Arbeitsvor- 
gangen 

5 • mit mindestens einer Kamera (14, 16) zur Aufnahme von 

Bildinformationen iiber einen oder mehrere Arbeit svorgange, 

• mit Trackingmitteln zur Bestimmung von Position und Aus- 
richtung der Kamera (14, 16) relativ zu Punkten im Raum 
und 

10 • mit einem mobilen Rechner (4) zur Verarbeitung der von der 
Kamera (14, 16) auf genommenen Bildinformationen und der 
Position und Ausrichtung der Kamera (14, 16) und zur Wei- 
tergabe der verarbeiteten Bildinformationen als Bilddaten 
und der Position und Ausrichtung der Kamera (14, 16) als 

15 Trackinginformation an ein entf erntes Rechnersystem (5) , 

wobei das entfernte Rechnersystem (5) aufweist: 

• Bearbeitungsmittel zur Erstellung von die Bilddaten ergSn- 
zenden Inf ormationen in Form von grafischen Elementen, 
Texten und/oder Verweisen auf weitere Informationen und 

20 zur Zuordnung der ergSnzenden Informationen zu Punkten im 

Raum, 

• erste Wiedergabemittel zur Wiedergabe der Bilddaten und 
der ergSnzenden Informationen und 

• Speichermittel zur Speicherung der die Bilddaten ergSnzen- 
25 den Informationen, ihrer Zuordnung zu Punkten im Raum und 

der Trackinginformation als Dokumentation (10) der Ar- 
beitsvorgange . 

2. System nach Anspruch 1, 

30 dadurch gekennzeichnet, 

dass zweite Wiedergabemittel zur Wiedergabe der erganzenden 
informationen innerhalb eines Sichtfelds eines Anwenders vor- 
gesehen sind, wobei die erganzenden Informationen entspre- 
chend ihrer Zuordnung zu Punkten im Raum im Sichtfeld des An- 

35 wenders angeordnet sind. 
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3. System nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, 

dass das entfernte Rechnersystem (5) eine Symbolbibliothek 
(6) zur Bereitstellung der grafischen Elemente und eine Doku- 
5 mentenbibliothek (7) zur Bereitstellung der Texte aufweist. 

4. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass Aufnahmemittel zur Aufnahme von akustischen Informatio- 
0 nen uber die Arbeitsvorgange vorgesehen sind, wobei der mobi- 
le Rechner (4) zur Verarbeitung der auf genommenen akustischen 
Informationen und zur Weitergabe der verarbeiteten akusti- 
schen Informationen als Audiodaten an das entfernte Rechner- 
system (5) vorgesehen ist und die ersten Wiedergabemittel des 
5 entfernten Rechnersys terns (5) zur Wiedergabe der Audiodaten 
vorgesehen sind. 

5. System nach einem der Anspriiche 2 bis A, 
dadurch gekennzeichnet, 

0 dass die Bearbeitungsmittel zur Zuordnung der erganzenden In- 
formationen zu Arbeitsschritten innerhalb eines Workflows und 
Steuermittel zur Steuerung der zweiten Wiedergabemittel durch 
den Anwender vorgesehen sind. 

6. Verfahren zur Erstellung einer Dokumentation von Arbeits- 
vorgangen, bei welchem 

• Bildinf ormationen uber einen oder mehrere Arbeitsvorgange 
mit mindestens einer Kamera (14, 16) aufgenommen werden, 

• Position und Ausrichtung der Kamera (14, 16) relativ zu 
Punkten im Raum mit Trackingmitteln bestimmt wird und 

• mit einem mobilen Rechner (4) die von der Kamera (14, 16) 
auf genommenen Bildinf ormationen und die Position und Aus- 
richtung der Kamera (14, 16) verarbeitet und die verarbei- 
teten Bildinformationen als Bilddaten, die Position und 
Ausrichtung der Kamera (14, 16) als Trackinginf ormation an 
ein entferntes Rechnersystem (5) weitergegeben werden, 

wobei mit dem entfernten Rechnersystem (5) 
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• mit Bearbeitungsmitteln die Bilddaten ergSnzende Informa- 
tionen in Form von grafischen Eleinenten, Texten und/oder 
Verweisen auf weitere Informationen erstellt und die er- 
ganzenden Informationen zu Punkten im Raum zugeordnet wer- 
den, 

• die Bilddaten und die erganzenden Informationen mit ersten 
Wiedergabemitteln wiedergegeben werden und 

• die die Bilddaten erganzenden Informationen, ihre Zuord- 
nung zu Punkten im Ravim und die Trackinginformation als 
Dokumentation (10) der ArbeitsvorgSnge mit Speichermitteln 
gespeichert werden. 

7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 

dass die erganzenden Informationen innerhalb eines Sichtfelds 
eines Anwenders mit zweiten Wiedergabemitteln wiedergegeben 
werden, wobei die erganzenden Informationen entsprechend ih- 
rer Zuordnung zu Punkten im Raum im Sichtfeld des Anwenders 
angeordnet werden. 

8. Verfahren nach Anspruch 6 oder 7, 
dadurch gekennzeichnet, 

dass im entfernten Rechnersystem (5) die grafischen Elemente 
in einer Symbolbibliothek (6), die Texte in einer Dokumenten- 
bibliothek (7) bereitgestellt werden. 

9. Verfahren nach einem der AnsprUche 6 bis 8, 
dadurch gekennzeichnet, 

dass akustische Informationen iiber die Arbeitsvorgange mit 
Aufnahmemitteln aufgenommen werden, wobei der mobile Rechner 
(4) die aufgenommenen akustischen Informationen verarbeitet 
und die verarbeiteten akustischen Informationen als Audioda- 
ten an das entfernte Rechnersystem (5) weitergibt urid die Au 
diodaten mit ersten Wiedergabemitteln des entfernten Rechner 
systems (5) wiedergegeben werden. 
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10. Verfahren nach eineiu der Anspriiche 7 bis 9, 
dadurch geken n z e i c h n e t , 

dass die ergSnzenden Informationen durch die Bearbeitungsmit- 
tel zu Arbeitsschritten innerhalb eines Workflows zugeordnet 
5 werden und die zweiten Wiedergabemittel durch den Anwender 
mit Steuermitteln steuerbar sind. 
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